Language and Robotics研究会

Language and Robotics研究会

PaLM-SayCan

Speeding up RL w/ LLMs Reading Manuals

LLMs + Grounded Models = Better Robot Control

MSの公開してるChatGPTでRobot制御するやつ

ロボット開発のためのChatGPT

行動制御や行動計画に関しては，使い物になるか怪しいレベルのものしかできないでしょうけど，インターフェースを担うツールとして役立つ可能性が高そうですね（LLMに詳しくないのでわからないですけど）．

そうなんだよなあ・・

制御にはLLMとかいらんやろと思いますが、行動計画には使えると思いますよ。

これしてこれして次にこれするみたいなタスクの順番を決めたりする行動計画には使える気がしています。

RT-1とかsocratic modelsなどの研究に対する激しい違和感はそこですね、tragectoryレベルで生成する必要性は皆無だと思います。

多分マルチモーダルなモデルだからこういうのもできるよ！と言いたいんだと思います。

vision&languageの研究は今かなり加速度的に進んでいるのでそこの知見も使えるでしょうし。

ただ経路まで生成するのはロボットの計画というタスクの性質考慮する筋が良くないと思います。

納得感エグい

事前学習済み視覚-言語モデルからロボットの認識行動に向けてどう情報抽出するかを簡単にまとめた論文を公開しました(昨年8月に執筆).

基盤モデルとロボティクス

LLM、だいたいこんな感じの方向でいくぞ、という方向性決めるビヘイビアプランナーに使えるのかもなあという印象だけがある, ローカルプランナーに使うには遅すぎるしそもそもそんなものを持ち出す必要性がない

すごい単純だけど、ROS2のナビゲーションとChatGPT APIを使って自然言語からのナビゲーションを試してる

「(X,Y)に移動する(進む、戻る)」等の指示で移動することができています！

VIMA

Can robots 🤖 to navigate to sounds 🔊 they've heard?

w/ audio-language 🔊✏️ foundation models, excited that we can now ask our helper robots to "go to where you heard coughing"

Audio-Visual-Language Maps w/

@huang_chenguang

@oier_mees

@wolfram_burgard

実世界にグラウンドされた自然言語理解のこれまでとこれから

Lang&Robo Slides

先日のLangRobot研究会の動画が配信されてますので、見逃した人、見返したい人はぜひどうぞ。

その他、発表資料や当日回答できなかった質問についても公開されています。

ロボットの大規模言語モデル応用が次のフェーズへ、Stanfordが革新的技術